网站正式发布后,需要通过合理的方式尽快告知搜索引擎,引导蜘蛛爬行目标推广页面,重要的两步如下。
第一步:建立 Sitemap文件,将目标推广的URL列表推送给搜索引擎。
第二步:设立 Robots文件,将不允许蜘蛛爬行的页面在 Robots里面定义清楚,然后把该文件上传到网站根目录下。
在 Robots和 Sitemap文件中,如何精细化地做好链接定义和说明,并有效告知搜索引擎,对sE的效果影响较大,因为这些都切切实实影响到蜘蛛是否知晓链接存在和能否有效爬行网站。
在告知途径上,主要有几种方式：
通过直接提交网站首页URL引导搜索引擎到达首页,然后自行爬行内链,完成对网站的抓取,这种方式比较简单,但不是最为理想的方式。
通过直接提交网站 Sitemap的方式引导搜索引擎过来爬行页面。Sitemap即站点地图,扁平化告知搜索引擎网站的结构和页面地址可以引导蜘蛛快速爬行到很多页面。如果更精细化,可以设置页面的权重和更新频率等信息,帮助蜘蛛更有针对性地爬行网站。
